Can Complementary Signals Bridge Similarity Islands? Manifold-Augmented Graph Embedding for Multimodal Recommendation
流形增强图嵌入解决多模态推荐互补信号孤岛问题
🧭 多模态推荐 · 互补信号流形增强 ★ 深度解读
Beijing University of Posts and Telecommunications · Key Laboratory of Trustworthy Distributed Computing and Service (BUPT), Ministry of Education · Zhejiang University · Central South University
MAGE框架结合离线流形增强与在线非对称双流GNN,缓解多模态推荐中互补品语义漂移问题
📌 工作参考价值(4 点)
- 离线流形增强(Phase I)可作为 plug-and-play 特征变换,直接替换现有多模态推荐模型的 item 文本 embedding,不改架构即可在 Sports/Clothing 等数据上稳定提升 GUME/MGCN/MENTOR(论文表7),适合在召回或粗排阶段低成本引入。
- 采用非对称双流设计:视觉特征作为 stable anchor 只走同配相似性图,增强后的文本特征作为 flexible probe 走混合互补边图,可解耦“替代品相似”和“互补品功能关联”两类信号,避免互补边污染视觉表示。电商推荐中可分别维护视觉图和文本图,按模态特性选择传播拓扑。
- 互补信号注入用 per-seed 相对强弱邻居划分 + Soft Conceptor 软子空间投影,提取与替代品子空间正交的残差方向,并施加局部 gap-preserving 约束和归一化后回溯,控制语义漂移。工程实现时,可参考用 SVD 子空间和自适应步长,而非固定全局融合权重。
- LLM 文本预处理(Qwen3-32B-AWQ)仅做证据约束提取,冻结特征,训练/推理不调用 LLM,避免在线成本。但论文显示仅替换 LLM 文本特征收益不一致,真正增益来自几何增强+拓扑传播组合,提示业务中别只靠 LLM 清理文本,需配套图侧设计。